Oggi il luogo dove sorge è solo una delle cime che si alzano ad oriente, sopra l'abitato di Comunanza.
Un tempo qui sorgeva un importante centro fortificato, protetto dalla rocca, sede appunto dei signori di Montepassillo, protagonisti del medioevo locale e non solo. Il nome secondo alcuni studiosi, deriverebbe dal termine latino "Passim" che significa da ogni parte, a sottolineare la predisposizione a luogo di avvistamento della cima. Sarà fondato probabilmente dalla dinastia dei Signori di Smerillo, iniziata col Conte Alberto, menzionato nel 1192 come feudatario dell'abbazia di Farfa. Questi aveva ricevuto in gestione dai farfensi diversi territori, probabilmente sfruttando i suoi rapporti con l'imperatore svevo Federico Barbarossa. Secondo alcuni studi, il castello di Montepassillo sorge proprio per mano dei discendenza del conte: il figlio Albertino ed i nipoti, Alberto ed Anselmo. Soprattutto per volontà di quest'ultimo e della sua prole: Giorgio, Albertino e Buonconte, i primi a fregiarsi del titolo di "Signori di Montepassillo". L'altro ramo di Alberto di Albertino sarà nominato come "Signori di Smerillo" ed entrambe le dinastie possedevano quote del castello montepassillese. Prima della sua erezione, probabilmente esisteva già il vicino castello di Teramo, sorto a protezione della corte farfense di Santa Maria a Terme, rientrati nei patrimoni familiari già nel XI secolo con il conte Alberto, anche la chiesa omonima era un loro patronato. I due rami della dinastia tendenzialmente avranno idee politiche differenti, i signori di Smerillo erano orientati verso Amandola e Fermo, mentre l'altro patteggerà nettamente per Ascoli. Difatti nel 1249 i signori ottengono la cittadinanza ascolana, con l'obbligo di partecipare alle guerre della città armando otto cavalieri, con l'ulteriore imposizione di pagare le tasse e di trasferirsi acquistando terreni e palazzi. Intanto la famiglia intesseva una remunerativa politica matrimoniale, Giorgio di Montepassillo, rimasto vedovo si sposerà nel 1252 con la figlia di Matteo d'Oddone di Berardo, della dinastia degli Acquaviva. Da questa unione saranno aggiunti al patrimonio diverse proprietà, tra queste, parti dei castelli di Colle Guardia, Montetinello e San Benedetto in Albula. Tra gli altri legami parentali si segnalano i Brunforte e numerosi saranno i matrimoni con famiglie ascolane, come i Venimbene e gli Sgariglia. Ma la signoria ormai cedeva il passo alle nuove realtà comunali, che avevano irrimediabilmente minato il potere delle dinastie feudali. Nel 1263 infatti i nobili di Montepassillo si trovano a perdere un contrasto con Montefortino ed Amandola, alcuni castelli e famiglie residenti saranno venduti ai comuni ed in seguito richiesti indietro. Nel 1267 la vicenda termina con l'obbligo per i signori di rispettare i patti presi, nello stesso anno viene eletto il sindaco del Comune di Montepassillo. Nominato dalla popolazione, aveva il compito di proclamare come podestà i feudatari ed i loro discendenti e di far rispettare gli statuti, quelli del castello e quelli vigenti ad Amandola e Montefortino. Nel 1291 si assiste alla spartizione delle eredità di Giorgio di Montepassillo, che aveva suscitato controversie tra le parti e data la cospicua dote, catturerà l'interesse anche Papa Niccolò IV, il pontefice originario dell'ascolano ed il Rettore della Marca Anconitana, Agapito Colonna, farà da mediatore. Il castello sarà diviso tra due rami: quello di Ugolino di Giorgio e dei suoi figli Fallerone, Gualtieruccio e Cavatorta e quello di Giorgiuccio di Simonetto di Giorgio, amministrato da Venimbene di Abbamonte, nobile ascolano. Ma Carlo di Giorgio, fratello di Ugolino e fervente sostenitore del partito ghibellino, che patteggiava per l'Imperatore, inoltre legato ai fermani, decise di interrompere la stabilità raggiunta per guerreggiare con Amandola, fedele al papato. Nel 1293 gli amandolesi, sentendosi minacciati dal castello, lo assaltano devastandolo, si salverà solo la rocca dove si erano asserragliati i difensori. Carlo per lavare l'offesa organizza un esercito nel tentativo di assaltare la cittadina nemica, ma questa lo anticipa sul tempo attaccando nuovamente il castello, stavolta radendo al suolo anche la rocca. Incapaci di gestire da soli i costi della ricostruzione, i signori si appoggeranno ad Ascoli, già sollecitata dal Rettore della Marca, che prenderà quindi possesso del castello. Gli amandolesi, non avendo avuto alcun benestare dallo Stato Pontificio per compiere il secondo assalto, saranno multati e costretti a risarcire i danni. Poiché il castello ormai era divenuto una proprietà scomoda per i dinasti, si iniziò la vendita delle sue quote feudali, con Amandola ed Ascoli pronte ad accaparrarsele. Nel 1294 Corrado da Smerillo venderà le sue proprietà alla cittadina amandolese, suscitando le ire dei contendenti; il governo pontificio cercherà di mantenere la pace tra le due, minacciando pesanti multe. Gli ascolani, impegnati nella ricostruzione della rocca, inviano un contingente ad assediare Amandola, in modo da impedirgli eventuali assalti al cantiere di Montepassillo. Intanto, l'anno seguente anche Carlo Francesco e Nuccio di Albertino da Montepassillo, vendono la loro fetta di proprietà all'ascolano Nicola di Egidio, chiedendo inoltre la protezione del comitato di Ascoli. In contemporanea anche Amandola, che non era rimasta a guardare inerme, aveva agito acquistando le quote di Ugolino di Giorgio. Invece nel 1297, Nicola di Egidio, rivende al sindaco di Ascoli le proprietà appena acquisite, l'anno dopo lo stesso faranno i Venimbene. In poco tempo le truppe ascolane si posero a presidio del castello, istituendo anche un mercato settimanale, quest'ultima azione scatenò le ire dei centri vicini. Tra questi compare il comitato fermano, che sfruttò tutta la sua influenza sul papato, per scacciare gli ascolani; dunque Papa Bonifacio VIII gli ordinerà di restituire il castello al Vicario della Marca Anconitana. Amandola però non smetteva di prodigarsi per far rientrare Montepassillo tra i suoi territori, nel 1302 infatti acquista ancora quote dai successori di Albertino da Montepassillo. Nel 1310, su ordine di Papa Clemente V, gli amandolesi assediano ancora il castello radendolo al suolo, gli ascolani fecero ricorso al pontefice per ottenere la riparazione dei danni, ma l'anno seguente il Legato pontificio ordinava alla città di non ricostruire la rocca. Gli ascolani allora decisero di fondare un nuovo centro in altra posizione, sotto il castello e lungo la sponda meridionale del fiume Aso, sfruttando una sua ansa dove già era presente la chiesa di San Francesco. Nasce così l'attuale centro di Comunanza, che nel tempo si sostituirà all'antico castello, che sarà comunque ricostruito. Negli statuti ascolani del 1377, la rocca è ormai parte dello stato cittadino, che la difende con le sue milizie. Il nome di Montepassillo torna nelle memorie del 1485, quando Nicola Masini, signore del castello, aveva partecipato ad una rivolta ad Ascoli, viene condannato inizialmente a pesanti sanzioni, infine costretto a risiedere nelle sue proprietà nel comunanzese. La fortificazione infine sarà definitivamente distrutta su ordine di Papa Leone X nel 1521, in quanto era diventata sede di banditi, scomparendo così man mano dalla storia.
Il sito è ben visibile dall'abitato di Comunanza, guardando verso Nord-Est, facilmente riconoscibile per le antenne che hanno sostituito l'antico castello. Vi si arriva tramite alcune strade private, percorribili solo con i permessi della proprietà, che salgono sulle pendici del monte fino alla cima se si arriva dal versante settentrionale. La strada termina in un piccolo spiazzo pianeggiante ricavato sul versante meridionale, poco sotto la sommità del colle, dove sono installate le varie antenne. Qui, probabilmente si trovava la parte del castello destinata ad ospitare la maggior parte degli edifici che lo componevano; a completamento vi era la rocca con l'abitazione principale dei signori, che occupava l'intera parte alta. I pochi resti riscontrabili si riducono alla spianata e a qualche tratto di mura, che spuntano ai margini della piattaforma e lungo lo sperone della rocca. Per salirvi bisogna proseguire verso Est, dove il dislivello da colmare è inferiore. Una volta giunti, si vede un'altra piattaforma con una trincea scavata nel mezzo, un tempo lungo i bordi correvano le mura della rocca, dove con buona probabilità, si intervallavano le torrette perimetrali. Nelle fosse al centro si ritrovano le tracce di muratura costituita sia in mattoni che in pietra, probabilmente sono le rimanenze delle cisterne della fortificazione, forse situate alla base del possente torrione principale, che costituiva il centro delle difese. Rifacendosi alla rocca di Smerillo, edificata dalla stessa dinastia, nella piattaforma inferiore erano erette le abitazioni per le famiglie dei signori e gli edifici pubblici, protette da una cinta muraria. Sempre dalla documentazione, si viene a conoscenza della presenza di un borgo, ovvero un insediamento privo di difese, a breve distanza dal castello ed una piazza dove veniva tenuto il mercato. La religiosità degli abitanti era celebrata nella chiesa di San Salvatore, forse sorta all'interno del castello o comunque a ridosso di esso, scomparsa nel XV secolo. Nel territorio si ricordano la chiesa di Sant'Antonio, anch'essa scomparsa e la chiesa di San Francesco, una delle ultime memorie ancora visibili del castello di Montepassillo, situata nel centro storico comunanzese e da tempo abbandonata.